首先,罗森布拉特(Rosenblatt)关于浅网络无所不能的定理指出,如果培训集中没有差异,那么基本感知器可以解决任何分类问题。 Minsky和Papert认为对神经输入有限制的基本感知:有界数的连接或隐藏层的每个神经元的接收场的相对较小的接收场直径。他们证明,在这些约束下,基本的感知者无法解决一些问题,例如输入图像的连接性或像素中的像素的奇偶校验。在本说明中,我们证明了Rosenblatt在工作中的首次定理,展示了基本知名度如何解决旅行迷宫问题的版本,并分析了该解决方案的复杂性。我们还针对同一问题构建了深层网络算法。它更有效。浅网络在隐藏层(Rosenblatt的$ a $ emements)上使用指数级的神经元,而对于深网,第二阶多项式复杂性就足够了。我们证明,对于同一复杂的问题,深网可能会小得多,并在这种效果背后揭示了一种启发式。
translated by 谷歌翻译
We consider the problem of data classification where the training set consists of just a few data points. We explore this phenomenon mathematically and reveal key relationships between the geometry of an AI model's feature space, the structure of the underlying data distributions, and the model's generalisation capabilities. The main thrust of our analysis is to reveal the influence on the model's generalisation capabilities of nonlinear feature transformations mapping the original data into high, and possibly infinite, dimensional spaces.
translated by 谷歌翻译
通用数据模型解决了标准化电子健康记录(EHR)数据的许多挑战,但无法将其集成深度表型所需的资源。开放的生物学和生物医学本体论(OBO)铸造本体论提供了可用于生物学知识的语义计算表示,并能够整合多种生物医学数据。但是,将EHR数据映射到OBO Foundry本体论需要大量的手动策展和域专业知识。我们介绍了一个框架,用于将观察性医学成果合作伙伴关系(OMOP)标准词汇介绍给OBO铸造本体。使用此框架,我们制作了92,367条条件,8,615种药物成分和10,673个测量结果的映射。域专家验证了映射准确性,并且在24家医院进行检查时,映射覆盖了99%的条件和药物成分和68%的测量结果。最后,我们证明OMOP2OBO映射可以帮助系统地识别可能受益于基因检测的未诊断罕见病患者。
translated by 谷歌翻译
ICECUBE是一种用于检测1 GEV和1 PEV之间大气和天体中微子的光学传感器的立方公斤阵列,该阵列已部署1.45 km至2.45 km的南极的冰盖表面以下1.45 km至2.45 km。来自ICE探测器的事件的分类和重建在ICeCube数据分析中起着核心作用。重建和分类事件是一个挑战,这是由于探测器的几何形状,不均匀的散射和冰中光的吸收,并且低于100 GEV的光,每个事件产生的信号光子数量相对较少。为了应对这一挑战,可以将ICECUBE事件表示为点云图形,并将图形神经网络(GNN)作为分类和重建方法。 GNN能够将中微子事件与宇宙射线背景区分开,对不同的中微子事件类型进行分类,并重建沉积的能量,方向和相互作用顶点。基于仿真,我们提供了1-100 GEV能量范围的比较与当前ICECUBE分析中使用的当前最新最大似然技术,包括已知系统不确定性的影响。对于中微子事件分类,与当前的IceCube方法相比,GNN以固定的假阳性速率(FPR)提高了信号效率的18%。另外,GNN在固定信号效率下将FPR的降低超过8(低于半百分比)。对于能源,方向和相互作用顶点的重建,与当前最大似然技术相比,分辨率平均提高了13%-20%。当在GPU上运行时,GNN能够以几乎是2.7 kHz的中位数ICECUBE触发速率的速率处理ICECUBE事件,这打开了在在线搜索瞬态事件中使用低能量中微子的可能性。
translated by 谷歌翻译
我们研究了与中央服务器和多个客户的联合学习多臂强盗设置中最佳手臂识别的问题。每个客户都与多臂强盗相关联,其中每个手臂在具有未知均值和已知方差的高斯分布之后,每个手臂都能产生{\ em I.i.d。} \奖励。假定所有客户的武器集相同。我们定义了两个最佳手臂的概念 - 本地和全球。客户的当地最好的手臂是客户本地手臂中最大的手臂,而全球最佳手臂是所有客户平均平均值最大的手臂。我们假设每个客户只能从当地的手臂上观察奖励,从而估计其当地最好的手臂。客户在上行链路上与中央服务器进行通信,该上行链路需要每个上行链路的使用费用为$ C \ ge0 $单位。在服务器上估算了全球最佳手臂。目的是确定当地最佳武器和全球最佳臂,总成本最少,定义为所有客户的ARM选择总数和总通信成本的总和,但在错误概率上取决于上限。我们提出了一种基于连续消除的新型算法{\ sc fedelim},仅在指数时间步骤中进行通信,并获得高概率依赖性实例依赖性上限,以其总成本。我们论文的关键要点是,对于任何$ c \ geq 0 $,错误概率和错误概率足够小,{\ sc fedelim}下的ARM选择总数(分别为\ the总费用)最多为〜$ 2 $(reves 。〜 $ 3 $)乘以其在每个时间步骤中通信的变体下的ARM选择总数的最大总数。此外,我们证明后者在期望最高的恒定因素方面是最佳的,从而证明{\ sc fedelim}中的通信几乎是无成本的。我们从数值验证{\ sc fedelim}的功效。
translated by 谷歌翻译
我们从一组稀疏的光谱时间序列中构建了一个物理参数化的概率自动编码器(PAE),以学习IA型超新星(SNE IA)的内在多样性。 PAE是一个两阶段的生成模型,由自动编码器(AE)组成,该模型在使用归一化流(NF)训练后概率地解释。我们证明,PAE学习了一个低维的潜在空间,该空间可捕获人口内存在的非线性特征范围,并且可以直接从数据直接从数据中准确地对整个波长和观察时间进行精确模拟SNE IA的光谱演化。通过引入相关性惩罚项和多阶段训练设置以及我们的物理参数化网络,我们表明可以在训练期间分离内在和外在的可变性模式,从而消除了需要进行额外标准化的其他模型。然后,我们在SNE IA的许多下游任务中使用PAE进行越来越精确的宇宙学分析,包括自动检测SN Outliers,与数据分布一致的样本的产生以及在存在噪音和不完整数据的情况下解决逆问题限制宇宙距离测量。我们发现,与以前的研究相一致的最佳固有模型参数数量似乎是三个,并表明我们可以用$ 0.091 \ pm 0.010 $ mag标准化SNE IA的测试样本,该样本对应于$ 0.074 \ pm。 0.010 $ mag如果删除了特殊的速度贡献。训练有素的模型和代码在\ href {https://github.com/georgestein/supaernova} {github.com/georgestein/supaernova}上发布
translated by 谷歌翻译
我们第一次将深度度量学习应用于微观图像上分类塑料传染媒体壳的ProB-LEM。该物种识别任务是重建过去气候的重要信息源和科学柱子。所有Foraminifer CNN识别管道在文献中产生的黑匣子分类器缺乏人类专家的可视化选项,不能应用于开放的设定问题。这里,我们对这些管道进行基准度学习,产生表型塑料综合体形态空间的第一个科学可视化,并证明公制学习可用于在训练期间进行群体看不见。我们展示了在该域中的所有已发布的基于CNN的最新的基于CNN的最先进的基准。我们评估了我们在35个现代综合素粉末类别的45张无尽的福特公共图书馆的34,640专家注释图像上的方法。我们对此数据的结果显示,在培训中从未遇到的聚类物种在从未遇到过66.5%的精度(0.70 f1-score)中,在再现专家标签中发出92%的精度(0.84 f1分)。我们得出结论,度量学习对该领域非常有效,并作为对微泡沫识别专家自动化自动化的重要工具。用本文发布了关键代码,网络权重和数据分离,以满足全重复性。
translated by 谷歌翻译
本文通过实时主轴振动的表征,提出了一种白色盒子支持向量机(SVM)框架及其群体的优化。通过加速度和统计特征的时域响应,通过了过程失败(即侧面,侧面,侧面,鼻磨损,火山口和凹槽磨损,边缘骨折)而演化的异常时刻。使用作为估计器的横跨验证(RFECV)的递归特征消除,因为估计器已经用于特征选择。此外,已经检查了标准SVM的能力,用于刀具健康监测,然后通过应用群基于群的算法进行优化。已经进行了五个元启发式算法性能的比较分析(大象放牧优化,Monarch蝶优化,Harris Hawks优化,粘液模算法和飞蛾搜索算法)。考虑到全局和本地表示,已经介绍了白盒方法,这些代表可以深入了解工具状况监控中机器学习模型的性能。
translated by 谷歌翻译
由于存在动态变化,在标称环境中培训的强化学习(RL)控制策略可能在新的/扰动环境中失败。为了控制具有连续状态和动作空间的系统,我们提出了一种加载方法,通过使用$ \ mathcal {l} _ {1} $自适应控制器($ \ mathcal {l} _{1} $ AC)。利用$ \ mathcal {l} _ {1} $ AC的能力进行快速估计和动态变化的主动补偿,所提出的方法可以提高RL策略的稳健性,该策略在模拟器或现实世界中培训不考虑广泛的动态变化。数值和现实世界实验经验证明了所提出的方法在使用无模型和基于模型的方法训练的RL政策中的强制性策略的功效。用于真正的拼图设置实验的视频是可用的://youtu.be/xgob9vpyuge。
translated by 谷歌翻译
We develop and study new adversarial perturbations that enable an attacker to gain control over decisions in generic Artificial Intelligence (AI) systems including deep learning neural networks. In contrast to adversarial data modification, the attack mechanism we consider here involves alterations to the AI system itself. Such a stealth attack could be conducted by a mischievous, corrupt or disgruntled member of a software development team. It could also be made by those wishing to exploit a ``democratization of AI'' agenda, where network architectures and trained parameter sets are shared publicly. We develop a range of new implementable attack strategies with accompanying analysis, showing that with high probability a stealth attack can be made transparent, in the sense that system performance is unchanged on a fixed validation set which is unknown to the attacker, while evoking any desired output on a trigger input of interest. The attacker only needs to have estimates of the size of the validation set and the spread of the AI's relevant latent space. In the case of deep learning neural networks, we show that a one neuron attack is possible - a modification to the weights and bias associated with a single neuron - revealing a vulnerability arising from over-parameterization. We illustrate these concepts using state of the art architectures on two standard image data sets. Guided by the theory and computational results, we also propose strategies to guard against stealth attacks.
translated by 谷歌翻译